Sau khi hay tin phụ thân bị giết, Phù Sùng chạy đến Hoàng Trung (湟中, nay thuộc Tây Ninh, Thanh Hải), là vùng nằm dưới quyền kiểm soát của Khất Phục Càn Quy, và xưng đế ở đó. Ông lập con trai mình, Phù Tuyên (苻宣), làm thái tử. Tuy nhiên, vào mùa đông năm 394, Khất Phục Càn Quy đã trục xuất ông, và ông phải chạy đến chỗ Dương Định (楊定), một trong các vị tướng còn lại của phụ thân. Dương Định hội quân cùng Phù Sùng tiến đánh Khất Phục Càn Quy. Khất Phục Càn Quy cử Khất Phục Ích Châu và hai tướng khác là Khất Phục Kha Đàn (乞伏軻彈) và Việt Chí Cật Quy (越質詰歸) đi đánh Dương Định và Phù Sùng, Dương ban đầu đã đánh bại được quân Tây Tần. Tuy nhiên, ba tướng quân Tây Tần sau đó đã phản công và giết chết Dương Định cùng Phù Sùng trong trận chiến. Tiền Tần đến đây điệt vong, và thái tử Phù Tuyên sau đó chạy trốn và liên minh với người kế thừa của Dương Định là Dương Thịnh (楊盛), tuy nhiên Thái tử không tìm cách tái lập cấu trúc triều đình Tiền Tần. Năm 397, cả ông ta và Dương Thịnh đều được nhà Tấn phong chức tướng, năm 407, ông lãnh đạo quân của Dương Thịnh chống lại Hậu Tần, và đến năm 413, ông bị nhà Tấn buộc phải trở về lãnh địa Cừu Trì của Dương Thịnh.